E π A π π ª π TÂ ÓËÙ NÔËÌÔÛ ÓË EÊ ÚÌÔÁ TfiÌÔ B' ÓÔ AÚÁ Ú ÎË NÂ ÚˆÓÈÎ ÎÙ Î È EÊ ÚÌÔÁ
ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ Σχολή Θετικών Επιστηµών και Τεχνολογίας Πρόγραµµα Σπουδών ΠΛHPOΦOPIKH Θεµατική Ενότητα TEXNHTH NOHMOΣYNH EΦAPMOΓEΣ Τόµος B' Nευρωνικά ίκτυα και Eφαρµογές ΠΑΝΟΣ AΡΓΥΡΑΚΗΣ Kαθηγητής Tµήµατος Φυσικής Aριστοτελείου Πανεπιστηµίου Θεσσαλονίκης ΠATPA 2001
ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ Σχολή Θετικών Επιστηµών και Τεχνολογίας Πρόγραµµα Σπουδών ΠΛHPOΦOPIKH Θεµατική Ενότητα TEXNHTH NOHMOΣYNH EΦAPMOΓEΣ Τόµος B' Nευρωνικά ίκτυα και Eφαρµογές Συγγραφή ΠANOΣ AΡΓΥΡΑΚΗΣ Kαθηγητής Tµήµατος Φυσικής Aριστοτελείου Πανεπιστηµίου Θεσσαλονίκης Κριτική Ανάγνωση ΣΠYPI ΩN ΛYKOΘANAΣHΣ Aναπληρωτής Kαθηγητής Tµήµατος Mηχανικών H/Y και Πληροφορικής Πανεπιστηµίου Πατρών Ακαδηµαϊκός Υπεύθυνος για την επιστηµονική επιµέλεια του τόµου ΓEΩPΓIOΣ NIKHΦOΡΙ ΗΣ Kαθηγητής Tµήµατος Iατρικής Πανεπιστηµίου Πατρών Επιµέλεια στη µέθοδο της εκπαίδευσης από απόσταση ANAΣTAΣIOΣ TPIANTHΣ Γλωσσική Επιµέλεια ΣTEΦANOΣ ΛOYNTZHΣ Τεχνική Επιµέλεια TYPORAMA / ΓIANNHΣ ΠIKPAMENOΣ Καλλιτεχνική Επιµέλεια, Σελιδοποίηση TYPORAMA Συντονισµός ανάπτυξης εκπαιδευτικού υλικού και γενική επιµέλεια των εκδόσεων ΟΜΑ Α ΕΚΤΕΛΕΣΗΣ ΕΡΓΟΥ ΕΑΠ / 1997 2001 ISBN: 960 538 341 1 Kωδικός Έκδοσης: ΠΛH 31/2 Copyright 2000 για την Ελλάδα και όλο τον κόσµο ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ Οδός Παπαφλέσσα & Υψηλάντη, 26222 Πάτρα Τηλ: (0610) 314094, 314206 Φαξ: (0610) 317244 Σύµφωνα µε το Ν. 2121/1993, απαγορεύεται η συνολική ή αποσπασµατική αναδηµοσίευση του βιβλίου αυτού ή η αναπαραγωγή του µε οποιοδήποτε µέσο χωρίς την άδεια του εκδότη.
ÂÚÈ fiìâó Πρόλογος... 9 Bιβλιογραφικές παραποµπές... 13 K º π 1 ÈÛ ÁˆÁ ÛÙ Ó ڈÓÈÎ ÎÙ Eισαγωγικές παρατηρήσεις... 15 1.1 Τί είναι τα νευρωνικά δίκτυα... 18 1.2 Ένα απλό νευρωνικό δίκτυο... 20 1.3 Μετάδοση του σήµατος µέσα στο νευρωνικό δίκτυο... 21 1.4 Πώς εκπαιδεύουµε ένα νευρωνικό δίκτυο... 23 1.5 Tα νευρωνικά δίκτυα και οι υπολογιστές... 25 1.6 Σύγχρονες εφαρµογές των νευρωνικών δικτύων... 27 1.7 Ιστορική αναδροµή... 32 1.7.1 Η αρχή... 32 1.7.2 Tα πρώτα µοντέλα... 34 1.7.3 Η ωρίµανση... 35 1.7.4 Η κατάσταση σήµερα... 36 Σύνοψη... 39 Bιβλιογραφικές παραποµπές... 40 K º π 2 µèôïôáèî Ó ڈÓÈÎ ÎÙ Eισαγωγικές παρατηρήσεις... 41 2.1 Ο νευρώνας... 44 2.2 Η δοµή του νευρώνα... 46 2.3 Η συνδεσµολογία... 48
6 NEYPøNIKA IKTYA KAI EºAPMO E 2.4 Η λειτουργία... 49 2.5 Σύγκριση µε τεχνητά νευρωνικά δίκτυα... 52 Σύνοψη... 54 Bιβλιογραφικές παραποµπές... 54 K º π 3 ÈÛıËÙ Ú Eισαγωγικές παρατηρήσεις... 55 3.1 Τα πρώτα πρότυπα νευρωνικών δικτύων και ο αισθητήρας... 57 3.2 Το πρόβληµα της αποκλειστικής διάζευξης... 61 3.3 Γραµµική διαχωρισιµότητα... 63 3.4 Ικανότητα αποθήκευσης... 67 3.5 Η εκπαίδευση του αισθητήρα... 67 3.6 Η διαδικασία εκµάθησης... 68 3.7 Πρότυπα Adaline και Madaline... 74 3.8 Προβλήµατα κατά την εκπαίδευση... 75 Σύνοψη... 76 Bιβλιογραφικές παραποµπές... 76 K º π 4 ª ıô Ô oappleèûıô È ÔÛË ÙÔ Ï ıô Eισαγωγικές παρατηρήσεις... 77 4.1 Οι πρώτες ιδέες... 79 4.2 H µέθοδος εκπαίδευσης για γραµµικούς νευρώνες... 86 4.3 Η µέθοδος εκπαίδευσης για µη γραµµικούς νευρώνες... 90 4.4 Προσοµοίωση του προβλήµατος Χ ΟR... 93 4.5 Μειονεκτήµατα και προβλήµατα... 101 4.6 Εφαρµογές... 103
EPIEXOMENA 7 Σύνοψη... 105 Bιβλιογραφικές παραποµπές... 106 K º π 5 ÎÙ Hopfield Eισαγωγικές παρατηρήσεις... 107 5.1 H δοµή των δικτύων Hopfield... 109 5.2 Η εκπαiδευση του δικτύου Hopfield... 110 5.3 Στατιστικά δίκτυα Hopfield... 115 5.4 ίκτυα µε συνεχείς τιµές... 116 5.5 Συνειρµική µνήµη... 117 5.6 Το πρόβληµα του πλανόδιου πωλητή... 120 Σύνοψη... 127 Bιβλιογραφικές παραποµπές... 128 K º π 6 ÎÙ Kohonen Eισαγωγικές παρατηρήσεις... 129 6.1 H δοµή των δικτύων Kohonen... 131 6.2 Η εκπαiδευση του δικτύου Kohonen... 131 6.3 Παράδειγµα αυτο οργάνωσης... 136 Σύνοψη... 145 Bιβλιογραφικές παραποµπές... 146 K º π 7 Ù ÙÈÛÙÈÎ Ì ıô ÔÈ ÂÎapple  ÛË Eισαγωγικές παρατηρήσεις... 147
8 NEYPøNIKA IKTYA KAI EºAPMO E 7.1 Οι ιδέες της Στατιστικής Φυσικής στα νευρωνικά δίκτυα... 149 7.2 Εκπαίδευση Boltzmann... 152 7.3 Εκπαίδευση Cauchy... 156 7.4 Μέθοδος ειδικής θερµότητας... 157 7.5 Μη γραµµικά προβλήµατα βελτιστοποίησης... 158 Σύνοψη... 163 Bιβλιογραφικές παραποµπές... 164 K º π 8 ÓÔ Ë Σκοπός, Προσδοκώµενα αποτελέσµατα... 165 8.1 Κοινά χαρακτηριστικά των νευρωνικών δικτύων... 165 Bιβλιογραφικές παραποµπές... 172 Aπαντήσεις Aσκήσεων Aυτοαξιολόγησης... 173 Γλωσσάρι... 187